FOCUS：面向长程语言模型智能体的主动 Critic 学习
🧭 长程 Agent 强化学习 · 主动 Critic 学习 ★ 深度解读
Johns Hopkins University
把中途状态价值细化建模为主动学习：优先在预期最大减小 Critic 估计误差的状态分支采样，并用压缩边界做长程信用分配
📌 工作参考价值（4 点）
- 在电商/搜索的 multi-step Agent（如导购助手、商品搜索 agent、售后 agent）做 RLVR 时，可以把 context compaction / 工具调用边界作为可恢复状态，计算 segment 级 TD advantage 而不是轨迹级 group advantage；能缓解 GRPO 训练后期“草率 submit/提前结束”的 collapse。
- 如果已有 critic/value model，可借鉴 FOCUS 的主动采样公式：用 expected error reduction g(c)=[2κ²b̂e²+(N−κ)σ̂²]/(κ+N)³ 选择从哪些中间状态继续 rollout，避免均匀分支浪费 token；工程上可先在小规模 offline 诊断里验证 critic MSE 与 random/residual 的差距。
- 把 critic 预测当作 pseudo-observation 与 rollout 均值按 κ/(κ+n) 融合，递归 bottom-up 备份；这种轻量 Bayesian blending 比直接用 MC 均值或 raw critic 更稳，适合预算受限的在线分配。
- 模块化把 rollout allocator、context manager、credit assignment 解耦，便于替换 compaction 协议（in-context vs memory workspace）而不影响训练主流程；业务中可先接入现有 session 摘要/记忆模块。
离线策略评估中序列标注预算的最优分配方法
🧭 离线策略评估 · 标注预算优化
University of Southern California · University of California, Berkeley · University of Washington, Seattle
在离线评估中，用有限标注预算优化序列标注概率以最小化方差，结合双重稳健处理缺失标签
📌 工作参考价值（4 点）
- 在电商搜索推荐场景中，构建离线评估集时往往需要人工标注或付费获取真实点击/转化数据。该方法提供了一种方差最优的标注采样策略：根据样本对评估方差的影响程度分配标注预算，而不是随机采样，可以在相同预算下显著降低策略价值估计的 RMSE（论文中降低 34-68%）。
- 面对 LLM-as-a-judge 存在的未知偏差，可采用论文中的双重稳健 OPE 框架：将 LLM 标注作为缺失奖励的插补模型，结合少量专家标注进行校正，既降低成本又控制偏差。
- 序列推荐/会话评估中，论文提出的前向单调标注协议很有借鉴意义：只标注序列中当前及之后的关键状态点，避免回溯标注成本过高，适合在线动态标注场景。
- 批量自适应实现思路可迁移：在推荐系统 A/B 测试模拟中，先基于历史数据估计每个 context 的潜在方差，再动态调整后续批次的标注概率，逐步逼近最优分配，工程上容易落地。
子空间推断让偏好主动奖励学习更高效
🧭 主动偏好学习 · 贝叶斯滤波
University of Southern California
用低维子空间扩展卡尔曼滤波追踪奖励模型不确定性，以更少偏好标注训出高质量奖励模型
📌 工作参考价值（4 点）
- 可将“低维参数子空间 + EKF”的在线不确定性量化方案迁移到推荐/搜索的用户反馈场景：例如对排序策略、创意文案或 prompt 偏好做主动对比采样，只维护子空间后验，避免对大模型全参数做后验推断，显著降低在线更新成本。
- 采集函数基于参数采样高效计算，可复用信息增益/BALD 等主动学习指标，在电商标注预算有限时用于选择最有信息量的偏好对，减少人工评估次数。
- 方法给出的不确定性校准更好，适合用在带探索的在线决策（如 bandit 或 RLHF 策略）中，降低过度自信带来的推荐风险。
- 可增量接入现有 RLHF/偏好优化流程，若团队使用 LLM-as-a-judge 或偏好奖励模型，可考虑用子空间 EKF 在线更新 reward model，替代全量微调。
零数据对话推荐系统引导的实证研究
🧭 零数据CRS引导 · 合成对话数据 ★ 深度解读
University of California, San Diego · Netflix Inc. · Cornell University
系统实证零数据下用评论、元数据、协同信号合成对话训练CRS，主动选择提升数据效率
📌 工作参考价值（4 点）
- 新域冷启动可直接用 review、metadata、user-item logs 构造 synthetic SFT 数据，不依赖真实对话日志；生成时用目标模型 last hidden state 选种子，比随机/popularity 省 teacher LLM calls。
- active selection 别只当预处理：JS diversity 与 Fisher information 提供不同信息角度，metadata/CF 信号加入表示后可进一步提升，尤其大 budget 时更明显。
- 低资源场景合成数据可超过约 1k 真实对话，可先合成再混入少量真实数据；真实数据已很大的 ReDial 中合成增益有限，需要更严格过滤。
- 小模型用 Full-SFT 往往比 LoRA 更能消化合成对话数据；如果 LoRA 不涨，换 Full-SFT 或检查数据质量。
自演化的视觉提问者
🧭 自监督问题生成 · 视觉提问
University of Maryland, College Park · University of California, Los Angeles · Peking University · Arena · MBZUAI
让VLM通过自我生成与过滤，逐步产出更困难、更多样化的视觉问题，无需外部监督
📌 工作参考价值（4 点）
- 搜索/推荐场景下，可用类似 self-evolving 范式自动产出更困难、更多样化的用户查询词或推荐理由，无需人工标注。
- 对话式推荐 Agent 可利用自提问-过滤机制，主动向用户提出高信息量的澄清问题，提升交互效率。
- 论文的 Agentic 评估协议（感知、推理、多样性）可直接迁移用于评估推荐系统生成的 query 或对话的质量。
- 工程上可借鉴其双模式训练（提问者+回答者联合优化），保证生成能力不损害原有任务性能。
主动学习实现高效PRP重排序
🧭 生成式检索重排序 · 噪声成对比较主动学习 ★ 深度解读
Universidad de San Andrés
将PRP重排序建模为噪声成对比较的主动学习，通过自适应调度和随机方向提示，在低预算下大幅提升Top-K质量
📌 工作参考价值（4 点）
- 在LLM成对重排序场景中，用主动排序（如Mohajer锦标赛+堆提取）替代冒泡/快速排序，在相同调用预算下NDCG@10可提升9点以上；工程上只需替换调度逻辑，不改变提示、不增加模型推理。适合电商搜索/推荐中候选商品重排等预算敏感场景。
- 随机方向提示仅需一次LLM调用完成成对比较，将系统性的顺序偏差转化为零均值噪声，直接削减50%的调用成本，且不损失排序质量。实现简单：随机化文档在prompt中的顺序即可。
- 若存在可靠的先验排序（如BM25或粗排分），PAC主动排序进一步用少量锚点比较快速收敛至top-K，调用量可低至180次左右，适合极低延迟场景。
- 两种主动排序均支持查询内并行：莫哈杰的各锦标赛之间、PAC的锚点比较均可并发，实际延迟可通过批量推理大幅压缩，适合高吞吐线上服务。